A/B 测试到底测什么?怎么测?
点击上方“TradPlus”关注我们
策略即是选择,正确的策略是选择那些更有效的方向和方式方法来实现业务目标。然而怎样判断策略的有效性、又如何验证一个选择就比另一个更优则需要 A/B 测试的辅助。
但是 A/B 测试需要具备怎样的功能才能让开发者在短时间内测出更优策略?怎样的操作才能让 A/B 测试更有效果?今天 TradPlus 的产品经理 陈圆圆 将与大家分享 TradPlus A/B 测试的好用功能及使用场景,帮助开发者做出高效优质的变现决策。
多套方案同时测试
快速找到更优策略
传统的 A/B 测试只能设置一个对照组和一个实验组,一次测试只能对比两种策略。但如果遇到要从多个策略中进行择优选择的话,就需要进行多次 A/B 测试。这样费时费力,又无法更快地采用更优策略提升广告表现。
TradPlus A/B 测试功能可以让开发者同时设置多个实验组,将不同策略进行同时对比,并根据自身流量自由分配不同分组的流量比例。有效地节省了测试时长,提升了新策略的采用速度。
多维度数据测试
细致颗粒度对比
精细化变现要求可测试的数据维度颗粒度更细,这样才能保证可测试的数据变量更多,可控性更强。但是越是细分的维度越容易让人找不到方向,陷入“我到底该测试哪个变量”的困惑。TradPlus 不仅提供多维度的细分数据测试选择,还对这些维度进行了方向性的概括和分类, 让大家轻松找到测试方向。
不同用户的来源和行为决定了他们属性的不同,开发者可以针对不同用户属性进行分组测试,根据用户的国家、渠道、设备类型、游戏等级、内购金额等来测试不同策略的有效性。
广告加载测试不同的国家网络情况、广告场景的位置、开发者现阶段的变现目标都决定了所需要的广告加载需求不同。开发者可以针对广告加载相关的维度进行测试,例如并行请求数、广告请求时长、备用广告等待时长、速度优先 or eCPM 优先等,找到适合自己产品的最优策略。
Bidding 和 Waterfall 测试要知道怎样的竞价才是最充分的,最适合现有变现需求的,就需要针对 Bidding 和 Waterfall 的策略进行测试,这包含测试 Bidding 广告源个数&保留数、瀑布流层数、不同分层定价,是否设置底价等。
经典使用场景
有效指导配置
下面跟大家分享一些 A/B 测试的具体使用场景,希望对您的日常 A/B 测试操作有所帮助:
有些广告源既有 Bidding 又有 Waterfall,开发者无法判断是只用 Bidding、Bidding + Waterfall、还是只用 Waterfall 能带来更高收益。解决方案
可设置多个实验组测试不同模式的表现,选择收益效果最高的配置进行采用。例如:
对照组1:Waterfall 30层
实验组2:Bidding + Waterfall 20层
实验组3:Bidding
开发者希望知道哪些配置策略更适合某些特定国家,但又不希望测试过程中对广告表现有较大影响,应该如何做出合理决策?解决方案
可通过针对所有国家建立对照组和实验组进行不同配置策略,再进行分国家查看不同国家的表现,表现优异的国家可采用相应的配置策略。这样既可以测出更优策略,又可以减少对广告表现的影响。
开发者通常认为新的广告源的加入会对整体广告收益有所提升,但实际情况却并非总是如此,该如何判断是否要增加广告源?解决方案
通过在实验组中配置新的广告源来对比最终 ARPU 值的表现。有的时候新增广告源存在带来 ARPU 下降的情况,此时可能是新增广告源填充时长过长导致整体填充和展示下降,导致整体收入下降。
最后,很多开发者经常会思考的问题:一次测试的结论可以一直沿用吗?
答案是 NO!之前测过的结论还要再测!
因为变量一直在变,A/B 测试也需要定期再测,这将确保您采用的策略一直是更优的,业务也能一直保持稳步上涨。
如您想了解更多A/B测试方法论,可随时联系我们进行咨询。
商务联系:contact@tradplus.com
MKT:marketing@tradplus.com
往期回顾
关于 TradPlusTradPlus 作为行业领先、稳定可靠的广告聚合平台,致力于为全球开发者提供公平、透明、高效的流量变现的产品和服务。TradPlus 凭借其构建的可视化、可监测、可追踪的漏斗模型,精准进行数据分析,同时联结全面的广告变现工具与高效的广告加载策略,帮助开发者快速实现控制、分析、调配流量资源和变现策略,从而最大化提升变现收益。
TradPlus 为开发者专门提供一个高度可定制、全面变现套装的聚合工具和解决方案,赋能开发者多维度、专业化、可信赖的数据分析报表,助力开发者的商业化决策和业务增长,构建完善的应用增长闭环。 同时 TradPlus 拥有稳定的、高效的 SDK,安全的数据管理,一流的产品创新和专业团队的服务支持。
部分合作客户